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I V. Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 



Statement 
Novelty (N) 

Inventive step (IS) 
Industrial applicability (IA) 



Claims 
Claims 

Claims 
Claims 

Claims 
Claims 



1-20 



1-20 



1-20 



YES 
NO 
YES 
NO 

YES 
NO 



Citations and explanations 

1. Reference is made in the present report to the 
following search report citation (D) ; the same 
numbering will be used throughout the procedure: 

Dl: EP1094337 "Parking assistance system", Oct. 2000. 

2. The subject matter of claims 1-20 satisfies the PCT 
requirements with respect to novelty and inventive 
step . 

1. Claim 1: 



Document Dl is considered the prior art closest to the 
subject matter of claim 1. It discloses (the references 
in parentheses are to Dl) : 

method for observing and surveying the environment 
alongside a vehicle, primarily in order to detect 
parking spaces (Dl: abstract; paragraph [0037]; figure 
8) , 

a sequence of digital images being taken and 
temporarily stored by a camera (Dl/ paragraph [0030]), 
characterized in that the vehicle self-motion is 
detected (Dl, paragraph [0030]), the position and 
orientation of the camera at the times when the two 
Form PCT/IPEA/409 (BoxV) (January 1994) 
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images were taken being determined (Dl, paragraph 
[0030] : In document Dl, the camera is stationary with 
respect to the vehicle; therefore, the position and 
orientation of the camera are determined from the 
position and orientation of the vehicle) , 
and in that a local 3D depth image is generated by 
means of a stereo image processing algorithm based on 
the image pair, the position and orientation of the 
camera at the times when the images were taken being 
taken into account within the framework of a synthetic 
stereogeometry (Dl, paragraphs [0042] and [0046] ; 
figure 9, where "Xa, Ya, Za" and "Xb, Yb, Zb" are the 
position and orientation of the camera at the times 
when the images are taken) . 

Document Dl discloses a method from which the subject 
matter of claim 1 differs in that the temporarily 
stored images are provided with a time stamp and that 
it is possible to select concurrent stereo image pairs 
from the temporarily stored images based on the self- 
motion of the vehicle. 

Therefore, the subject matter of claim 1 is novel (PCT 
Article 33(2)) . 

The problem to be solved by the present invention can 
thus be seen as that of selecting two images with a 
defined stereo basis from a sequence of images taken 
with a regular repetition frequency (description, page 
4, lines 23-34) and that of improving the precision of 
the 3D depth views (description, page 5, lines 9-21) . 

The solution to this problem as proposed in claim 1 of 
the present application involves an inventive step (PCT 
Article 33(3)) for the following reasons: 
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The combination of features contained in independent 
claim 1 is neither known from nor suggested by the 
available prior art. 



2 . Claim 15: 



Claim 15 corresponds to claim 1 and thus likewise 
satisfies the PCT requirements with respect to novelty 
and inventive step. 



3. Claims 2-14 and 16-20: 



Claims 2-14 and 20 (as well as 16-19) are dependent 
upon claim 1 (and claim 15, respectively) and thus 
likewise satisfy the PCT requirements with respect to 
novelty and inventive step. 

3. The subject matter of claims 1-20 relates to a method 
for processing images for the observation and surveying 
of the environment alongside a vehicle and is therefore 
industrially applicable. 
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gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur StQtzung dieser Feststellung 


VI 
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Bestimmte Bemerkungen zur internationalen Anmeldung 



Datum der Einreichung des Antrags 
11.03.2004 


Datum der Fertigstellung dieses Berichts 
10.01 .2005 


Name und Postanschrift der mit der internationalen PrQfung 
beauftragten Beh6rde 

Europalsches Patentamt - GItschiner Str. 1 03 

5{N D-1 0958 Berlin 
Vfj) Tel. +49 30 25901 - 0 
. ^ , Fax: +49 30 25901 - 840 


Bevoilmachtigter Bediensteter ^ Pit-a ^ 
Gao.M 

Tel. +49 30 25901-404 V..*.-'^ 



Formblatt PCT4PEA/409 (Deckblatt) (Januar 2004) 



INTERNATIONALER VORLAUFIGER 

PRUFUNGS BERICHT Internationales Aktenzeichen PCT/EP 03/1 0456 

I. Grundlage des Berichts 

1. Hinsichtlich der Bestandteile der internationalen Anmeldung (Ersatzblatter, die dem Anmeldeamt auf eine 
Aufforderung nach Artikel 14 hin vorgelegt wurden, gelten im Rahmen dieses Berichts ais "ursprunglich 
eingereicht" und sind ihm nicht beigefugt, weil sie keine Anderungen enthalten (Regeln 70. 16 und 70. 17)): 

Beschreibung, Selten 



1 1 2, 4-7 in der ursprunglich eingereichten Fassung 

3 f 3a eingegangen am 23.1 1 .2004 mit Telefax 

Anspruche, Nr. 

2-14, 20 in der ursprunglich eingereichten Fassung 

1 f 15-19 eingegangen am 23.1 1 .2004 mit Telefax 

Zeichnungen, Blatter 

1 in der ursprunglich eingereichten Fassung 



2. Hinsichtlich der Sprache: Alle vorstehend genannten Bestandteile standen der Behorde in der Sprache, in der 
die internationale Anmeldung eingereicht worden ist, zur Verfugung oder wurden in dieser eingereicht, sofern 
unter diesem Punkt nichts anderes angegeben ist. 

Die Bestandteile standen der Behorde in der Sprache: zur Verfugung bzw. wurden in dieser Sprache 
eingereicht; dabei handelt es sich urn: 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen Recherche eingereicht worden ist 
(nach Regel 23.1(b)). 

□ die Veroffentiichungssprache der internationalen Anmeldung (nach Regel 48.3(b)). 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen vorlaufigen Prufung eingereicht 
worden ist (nach Regel 55.2 und/oder 55.3). 

3. Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleotid- und/oder Aminosauresequenz ist die 
internationale vorlaufige Prufung auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das: 

□ in der internationalen Anmeldung in schriftlicher Form enthalten ist. 

□ zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

□ Die Erklarung, daB das nachtraglich eingereichte schriftliche Sequenzprotokoll nicht Qber den 
Offenbarungsgehalt der internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

□ Die Erklarung, daB die in computerlesbarer Form erfassten Informationen dem schriftlichen 
Sequenzprotokoll entsprechen, wurde vorgelegt. 

4. Aufgrund der Anderungen sind folgende Unterlagen fortgefallen: 

□ Beschreibung, Seiten: 

□ Anspruche, Nr.: 
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□ Zeichnungen, Blatt: 

5 □ Dieser Bericht ist ohne Berucksichtigung (von einigen) der Anderungen erstellt worden, da diese aus den 
angegebenen Grunden nach Auffassung der Behdrde uber den Offenbarungsgehalt in der ursprunglich 
eingereichten Fassung hinausgehen (Regel 70.2(c)). 

(Auf Ersatzblatter, die solche Anderungen enthalten, ist unter Punkt 1 hinzuweisen; sie sind diesem Bericht 
beizufugen.) 

6. Etwaige zusatzliche Bemerkungen: 

V Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

1. Feststellung 

Neuheit (N) Ja: Anspruche 1-20 

Nein: Anspruche 

Erfinderische Tatigkeit (IS) Ja: AnsprQche 1 -20 

Nein: Anspruche 

Gewerbliche Anwendbarkeit (I A) Ja: Anspruche: 1-20 



Nein: Anspruche: 



2. Unterlagen und Erklarungen: 
siehe Beiblatt 
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Zu Punkt V 

Begriindete Feststellung hinsichtlich der Neuheit, der erfinderischen Tatigkeit 
und der gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung 
dieser Feststellung 



1 . In diesem Bescheid wird folgendes, im Recherchenbericht zitiertes Dokument (D) 
genannt; die Numerierung wird auch im weiteren Verfahren beibehalten: 

D1 : . EP1 09,4337 "Parking assistance system". .Oct. 2000. . . 



2. Der Gegenstand der Anspruche 1 -20 erfullt die Erfordernisse des PCT in bezug 
auf Neuheit und erfinderische Tatigkeit. 

1. Anspruch 1 : 

Das Dokument D1 wird als nachstliegender Stand der Technik gegenuber dem 
Gegenstand des Anspruchs 1 angesehen. Es offenbart (die Verweise in 
Klammem beziehen sich auf dieses Dokument): 

Verfahren zur Beobachtung und Vermessung der seitlichen Umgebung eines 
Fahrzeugs, vorwiegend zur Detektion von Parklucken (D1: Zusammenfassung; 
Absatz 37; fig. 8), 

wobei mittels einer Kamera erne Sequenz digitate Bilder aufgezeichnet, und 
zwischengespeichert werden (D1 : Absatz 30), dadurch gekennzeichnet, 
dass die Eigenbewegung des Fahrzeugs erfaBt wird (D1 : Absatz 30), 
wobei die zu den beiden Aufnahmzeitpunkten vorliegende Position und 
Ausrichtung der Kamera bestimmt wird (D1 : Absatz 30; Auf das Fahrzeug 
bezogen, ist in Dokument D1 die Kamera fest. Deshalb werden die Position und 
die Ausrichtung der Kamera von der Position und der Ausrichtung des Fahrzeugs 
bestimmt), 

und dass mittels eines Algorithmus zur Stereobildverarbeitung auf Grundlage des 
Bildpaares ein lokales 3D-Tiefenbild generiert wird wobei hierbei die Position und 
Ausrichtung der Kamera zu den Aufnahmzeitpunkten im Rahmen einer 
synthetischen Stereogeometrie berucksichtigt wird (D1 : Absatze 42, 46; fig. 9; 
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wobei "Xa, Ya, Za" und "Xb, Yb, Zb" die Position und Ausrichtung der Kamera zu 
den Aufnahmzeitpunkten sind). 

Dokument D1 offenbart ein Verfahren, von dem sich der Gegenstand des 
Anspruchs 1 dadurch unterscheidet, dass die zwischengespeicherten Bildermit 
einem Zeitstempel versehen werden und dass auf Grundlage der Eigenbewegung 
des Fahrzeugs aus den zwischengespeicherten Bildern zeitlich uberlappende 
Stereobildpaare auszuwahlen. 

Der Gegenstand des Anspruchs 1 ist somit neu (Artikel 33 (2) PCT). 

Die mit der vorliegenden Erfindung zu losende Aufgabe kann somit darin gesehen 
werden, dass zwei Bilder mit definierter Stereobasis aus einer Sequenz von 
Bildern, aufgezeichnet mit fester widerholfrequenz, ausgewahlt werden sollen 
(Beschreibung, Seite 4, Zeilen 23-34) und dass die Prazision der 3D- 
Tiefenansichten verbessert werden soli (Beschreibung, Seite 5, Zeilen 9-21). 

Die in Anspruch 1 der vorliegenden Anmeldung fur diese Aufgabe 
vorgeschlagene Losung beruht aus den folgenden Grunden auf einer 
erfinderischen Tatigkeit (Artikel 33(3) PCT): 

Die im unabhangigen Anspruch 1 enthaltene Merkmalskombination ist aus dem 
vorliegenden Stand der Technik weder bekannt, noch wird sie durch ihn 
nahegelegt. 

2. Anspruch 15: 

Anspruch 15 entspricht Anspruch 1 und erfullt damit ebenfalls die Erfordernisse 
des PCT. in bezug auf Neuheit und erfinderische Tatigkeit. 

3. Anspriiche 2 -14 und 16-20: 

Die Anspriiche 2-14 und 20 (bzw. 16-19) sind vom Anspruch 1 (bzw. 15) abhangig 
und erfullen damit ebenfalls die Erfordernisse des PCT in bezug auf Neuheit und 
erfinderische Tatigkeit. 
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3. Der Gegenstand der Anspriiche 1 -20 betrifft eine Methode zur Bildverarbeitung fur 
die Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs und 
ist somit gewerblich anwendbar. 
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Neue Beschreibungsseiten 3 und 3a 



Ein ahnliches System ist aus der EP 108 72 57 A2 bekannt, dabei wird eine Anordnung zur 
Befestigung eines Stereokamerasystems in einem Fahrzeug beschrieben, welches dazu dient, 
eine dreidimensionale Distanzverteilung fur ein betrachtetes Objekt zu berechnen. Beim 
Einsatz in StraBenfahrzeugen sind solche aus dem Stand der Technik bekannten Systeme zur 
Stereobildverarbeitung jedoch nur bedingt geeignet, da die Position und Ausrichtung der 
Kamera sehr exakt sein und mit hohem Aufwand justiert werden muss. Weiterhin ist eine 
derartige Anordnung fur den Alltagseinsatz bei unterschiedlichsten StraBenzustanden oft 
nicht robust genug und eine Dejustage des Systems jederzeit moglich. 

EP 1094337 A2 beschreibt ein Fahrerassistenzsystem zum Einparken, bei welchem mittels 
einer Monokamera 3D-Objekte in der Fahrzeugumgebung erkannt werden und der jeweilige 
Objektabstand zum Fahrzeug berechnet wird. Die Berechnung von Objektabstanden beruht 
dabei auf dem Prinzip der Triangulation und erfolgt anhand von exakt zwei Bildaufnahmen, 
wobei in beiden Bildaufnahmen das zu bestimmende Objekt enthalten ist und aus 
unterschiedtichen Aufnahmepositionen aufgenommen wird. Die Aufnahme der 
Bildinformationen erfolgt mittels einer gesteuerten Bildaufnahme, wobei im Anschluss an eine 
erste Bildaufnahme anhand eines fest vorgegebenen Schwellwerts fur den linearen 
Positionsunterschied (AD) des Fahrzeugs, in Bezug auf die Position der ersten Bildaufnahme, 
der Zeitpunkt fur eine zweite Bildaufnahme bestimmt wird. Der lineare Positionsunterschied 
(AD) sowie der Fahrzeugwinkel (R), mit dem sich das Fahrzeug fortbewegt, werden dabei 
anhand von Lenkwinkel- und Radumdrehungsinformationen ermittelt. Nur in dem Fall, in dem 
der lineare Positionsunterschied (AD) den fest vorgegebenen Schwellwert erreicht oder 
uberschreitet, wird eine zweite Bildaufnahme ausgelost. Der lineare Positionsunterschied 
(AD) sowie der Fahrzeugwinkel (R) werden sodann bei der Berechnung von Objektabstanden 
in Bezug auf die Fahrzeugposition herangezogen. Im Rahmen einer genauen Berechnung von 
Objektabstanden ist es dabei zusatzlich erforderlich, die genauen Kamerapositionen zum 
Zeitpunkt der beiden Bildaufnahmen exakt zu kennen, da diese in die Berechnung mit 
eingehen. 
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> Aktz.: PCT/EP03/ 10456^ - 3a - 12799/WO/1 

Der Erfindung liegt die Aufgabe zugrunde, ein neuartiges Verfahren zur videobasierten 
Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs sowie ein Fahrzeug 
mit einem Sensorsystem zur Durchfuhrung des Verfahrens gemaB den Oberbegriffen der 
Patentanspruche 1 und 15 zu schaffen, welches eine hone mechanische Robustheit aufweist 
und sich ohne hohen Aufwand justieren lasst. 

Die Aufgabe wird gemaB der Erfindung durch ein Verfahren und eine Vorrichtung mit den 
Merkmalen der Patentanspruche 1 und 15 gelost. Vorteilhafte Ausgestaltungen und 
Weiterbildungen der Erfindung werden in den Unteranspruchen aufgezeigt. 
GemaB der Erfindung erfolgt die Beobachtung und Vermessung der seitlichen Umgebung 
eines Fahrzeugs, vorwiegend zur Detektion von Parkiucken zurn einen mittels einer Kamera 
mit der digitale Bilder aufgezeichnet werden und zum anderen mittels einer DV-Einheit die 
^ dazu dient, die digitalen Bilder mit einem Zeitstempel zu versehen und zwischenzuspeichern. 

In besonders vorteilhafter weise umfasst die Vorrichtung weiterhin eine Einheit zur Erfassung 
der Eigenbewegung des Fahrzeugs, urn auf Grundlage dieser Daten aus den 
zwischengespeicherten Bildern Bildpaare auszuwahien. Es ist ein weiteres Mittel vorgesehen, 
urn die zu den beiden Aufnahmezeitpunkten vorliegende Position und Ausrichtung der Kamera 
zu bestimmen. Mittels eines Algorithmus zur Stereobildverarbeitung kann so auf Grundlage 
des Bildpaares ein lokales 3D-Tiefenbild generiert werden, wobei hierbei die Position und 
Ausrichtung der Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen 
Stereogeometrie berucksichtigt wird. 

Durch die neuartige Ausgestaltung des Erfindungsgegenstandes wird es erst moglich ein 
System zu schaffen, welches installiert in einem StraBenfahrzeug komplexe, 
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Aktz.: PCT/EP03/10456 ' PU2799/WO/1 

Neug Patentanspruche 1. 15 und 16 bis 19 

1. Verfahren zur Beobachtung und Vermessung der seitlichen Umgebung eines 
Fahrzeugs, vorwiegend zur Detektion von Parkliicken, 

wobei mittels einer Kamera eine Sequenz digitaler Bilder aufgezeichnet, mit einem 
Zeitstempel versehen und zwischengespeichert werden, dadurch gekennzeichnet, 
dass die Eigenbewegung des Fahrzeugs erfasst wird, urn auf Grundlage dieser Daten aus den 
zwischengespeicherten Bildern zeitlich uberlappende Stereobildpaare auszuwahlen, 
wobei die zu den beiden Aufnahmezeitpunkten vorliegende Position und Ausrichtung der 
£ Kamera bestimmt wird, 

und dass mittels eines Algorithmus zur Stereobildverarbeitung auf Grundlage des Bildpaares 
ein lokales 3D-Tiefenbild generiert wird wobei hierbei die Position und Ausrichtung der 
Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen Stereogeometrie 
berucksichtigt wird. 

15. Vorrichtung zur 3D-Beobachtung und Vermessung der seitlichen Umgebung eines 
Fahrzeugs, vorwiegend zur Detektion von Parklucken, umfassend eine Kamera zur Aufnahme 
einer Sequenz digitaler Bilder die mit einer DV-Einheit in Verbindung steht, mittels welcher die 
Bilder mit einem Zeitstempel versehen und zwischengespeichert werden, dadurch 
gekennzeichnet, 

dass eine Einheit zur Erfassung der Eigenbewegung des Fahrzeugs vorhanden ist, 
G und dass ein Mittel vorgesehen ist, urn auf Grundlage der Eigenbewegung Bilddaten zu zeitlich 
uberlappenden Stereobildpaaren auszuwahlen, 

und welches mit einer Einheit zur Stereobildverarbeitung in Verbindung steht. 



16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass die Einheit zur 
Erfassung der Eigenbewegung des Fahrzeugs insbesondere ein Tachometer, Rad- 
Drehzahlmesser, Navigationssystem oder ein Fahrdynamiksystem ist. 



17. Vorrichtung nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass die Kamera 
vorzugsweise 90° zur Fahrtrichtung ausgerichtet ist. 



GEAENDERTES BLATT 



15-11-2004 cruoiu^oo 
» Aktz.: PCT/EP03/ 10456 

112799/WO/1 

' 18. Vorrichtung nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass die Kamera 
unter einem Winke! von 45° - 135° zur Fahrtrichtung ausgerichtet ist. 

19. Vorrichtung nach einem der Anspruche 15 bis 18, dadurch gekennzeichnet, dass die 
Kamera, Bestandteil eines bereits im Fahrzeug befindlichen Bildaufnahmesystems ist. 
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